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摘 要 : [目的 /意义 ] 探究 不 同学 科 分 类 方案 对 于 学 科 标 准 化 方法 效果 的 影响 ,并 比较 不 同学 科 标 准 化 方法 的 效果 。 [FA 
法 /过 程 ] 在 Web of Science 学 科 分 类 方案 下 就 比 均值 法 、 比 中 位 数 法 、Z-score 法 这 三 种 常用 的 标准 化 方法 的 效果 进 
行 比较 研究 ;变更 不 同 粒度 的 学 科 分 类 方案 ,对 这 三 种 标准 化 方法 在 Essential Science Indicators( ESI) 、 经 济 合作 与 发 
展 组 织 (OECD ) 学 科 分 类 方案 下 的 敏感 性 进行 实证 检验 。[ 结果 /结论 ] 结果 显示 ,使 用 不 同学 科 分 类 方案 并 未 对 各 
标准 化 方法 的 效果 产生 较 大 影响 ,各 标准 化 方法 的 效果 基本 保持 不 变 。 从 CCDF 引文 分 布 曲线 的 图 形 上 来 看 ,使 用 
三 种 标准 化 方法 处 理 后 的 CCDF 曲线 形状 较 原始 引文 的 CCDF 曲线 形状 明显 更 加 聚拢 ,并 且 三 种 标准 化 方法 在 更 换 
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不 同 粒 度 的 学 科 分 类 方案 后 引文 分 布 情况 仍 大 致 相同 。 
三 种 标准 化 方法 的 效果 在 变更 不 同 粒度 的 学 科 分 类 方案 后 基本 保持 不 变 , 并 呈现 出 如 下 规律 :在 截取 全 局 top30% 以 
下 论文 时 , 比 均值 法 .Z-score 法 的 标准 化 效果 虽然 略 有 不 同 , 但 是 都 优 于 比 中 位 数 法 ;截取 top30% -40% 阶段 论文 
时 ,Z-score 法 的 优势 较为 突出 ;截取 top40% 以 上 论文 时 , 比 中 位 数 法 则 呈现 出 明显 优 于 其 他 两 者 的 效果 。 

词 : 学 科 分 类 方案 ”学科 标准 化 ”标准 化 效果 ”引文 分 布 


结合 top z% 法 从 定量 数值 的 角度 再 次 进行 检验 ,可 以 发 现 ， 


> 论 文 被 引 次 数 是 测度 科研 影响 力 的 重要 指标 。 但 
泛 学 科 领 域 之 间 存 在 引用 习惯 以 及 演化 规律 等 方面 
的 器 异 , 各 学 科 论 文 的 被 引 次 数 是 不 能 直接 进行 比较 
的 到 。 例 如 生物 医学 领域 ,论文 更 新 速度 快 ,发 文 量 较 
用 论文 的 被 引 次 数 较 高 ;而 像 数学 .地 质 学 等 学 科 , 科 
研 周期 较 长 ,需要 累积 达到 被 引 次 数 峰值 的 时 间 也 更 
长 ,论文 被 引 次 数 也 普遍 低 于 生物 医学 学 科 中 的 论文 。 
为 了 消除 学 科 之 间 的 差异 ,对 不 同学 科 领 域 论文 的 影响 
力 进行 公平 合理 的 测度 和 评价 ,科研 工作 者 们 通常 需要 使 
用 学 科 标准 化 方法 对 不 同学 科 论文 的 被 引 次 数 进行 数学 
变换 ,使 得 标准 化 后 的 被 引 次 数 , 即 标准 分 达到 近似 同 分 
布 的 效果 ,以 实现 不 同学 科 领 域 的 跨 学 科比 较 "。 

目前 越 来 越 多 的 学 者 加 入 到 学 科 标 准 化 方法 的 研 
究 中 ,并 且 基于 不 同 的 思想 和 理论 提出 了 多 种 标准 化 
方法 ,如 比 均值 法 ””、 比 中 位 数 法 '”、Z-score HE” A 


分 位 数 方法 、 施 引 方 标准 化 方法 ”"” aT T 
法 "基于 交换 律 的 标准 化 方法 '” 等 。 但 是 这 些 标准 
化 方法 的 提出 多 是 基于 学 者 们 的 主观 经 验 和 直觉 , 距 
离 实现 各 学 科 标 准 化 后 引文 分 布 近似 同 分 布 的 理想 状 
态 仍 有 一 定 差距 。 因 此 ,关于 标准 化 方法 效果 的 度量 
和 比较 一 直 是 该 领域 研究 的 热点 。 一 些 学 者 认为 ,由 
于 学 科 引 文 呈 偏 态 分 布 ,中 位 数 相 比 于 平均 值 更 适合 
表征 数据 的 集中 趋势 ,认为 比 中 位 数 法 的 标准 化 效果 
更 优 于 比 均值 法 中 -5 。L，Bormman 等 "中 认为 应 该 
使 用 分 布 位 置 来 描述 而 不 是 仅 用 简单 的 参数 指标 来 评 
测 ,并 提出 将 百 分 位 数 法 用 于 科研 影响 力 评价 效果 会 
更 好 。 张 志 辉 等 … 也 就 比 均值 法 和 Z-score 法 的 标准 
化 效果 进行 了 比较 ,认为 Z-score 法 在 引文 分 布 的 尾部 
表现 出 了 相对 于 比 均值 法 的 优势 ,但 在 引文 分 布 的 其 
他 大 部 分 ,尤其 是 低 被 引 部 分 ,效果 不 及 比 均值 法 ,并 
提出 效果 最 优 的 线性 标准 化 方法 。 然 而 ,究竟 哪 种 标 
准 化 方法 更 好 ,更 能 科学 合理 地 服务 于 科研 评价 ,目前 
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学 界 依然 没有 定论 。 

此 外 ,标准 化 方法 的 效果 还 受到 许多 潜在 因素 的 
影响 ,其 中 ,标准 化 方法 效果 的 实现 需要 放 到 具体 的 学 
科 分 类 方案 下 进行 。 而 学 科 分 类 本 身 就 是 一 个 较为 复 
杂 的 问题 ,不 同 的 国家 或 地 区 ,甚至 是 数据 库 都 存在 不 
同 的 学 科 分 类 体系 ”。 荷 兰 莱 顿 大 学 的 科学 与 技术 
人 研究 中 心 (Centre for Science and Technology Studies, 
CWTS) 提 出 的 皇冠 指标 (Crown Indicator) 采用 JCR 
(Journal Citation Da ) 主题 类 作为 论文 被 引 次 数 标 
准 化 的 参照 标准 ”。 科 害 唯 安 构建 的 基本 科学 指标 
数据 库 ( Essential Science Indicators , ESI ) 划分 了 22 个 
学 科 , 并 从 国家 机构、 期 刊 , 作 者 等 多 个 层面 对 文献 进 
行 统计 分 析 和 排序 ” 。 这 些 学 科 分 类 方案 以 期 刊 为 
基础 对 论文 进行 划分 ,相应 的 分 类 系统 将 不 同期 刊 划 
人 加 了 多 个 学 科 , 仍 存在 一 些 不 合理 之 处 。 以 期 刊 
Computers & Mathematics with Applications (CMA ) 为 例 ， 
CROX 是 根据 Web of Science 学 科 分 类 方案 收录 的 
Mathematics , Applied” FH “ Computer Science , Interdisci- 
plinary Applications "的 交叉 学 科 期 刊 ,但 在 ESI 学 科 分 
ID R H, 却 被 划分 到 “Mathematics” 这 一 研究 领 
。 不 仅 如 此 ,L. Leydesdorff 和 L. Bornmann'” 
MOB Web of Science 学 科 分 类 方案 最 初 是 为 了 信 ， 
RTA IES SY IE RIN, 并 非 直接 面向 科研 评 
各 企 学 科 美 别 之 问 存在 大 量 Hr HJ AC MBE , ah PER 

BPP) STL aL, EBEA A BEES I 
CS 为 此 ,一 些 学 者 甚至 自 建 了 学 科 分 类 系统 , 
Ritiz=Castillo Al L. Waltman!) 建立 了 一 个 包含 119 

个 研究 久 页 域 的 论文 级 分 类 系统 。C，Colliander $0- 
提出 名 为 “Item-oriented Approach” 的 方法 ,不 使 用 任何 
集群 ,直接 从 文章 的 标题 和 摘要 中 提取 出 名 词 和 形容 
词 将 其 词根 化 ,并 与 基于 算法 构建 的 聚 类 分 类 系统 的 
性 能 进行 了 比较 。 

然而 ,在 面向 实际 的 科研 评价 过 程 中 ,一 篇 论文 由 
于 学 科 分 类 方案 不 同 可 能 被 归 人 不同 的 学 科 之 下 ,这 
对 于 标准 化 方法 的 效果 又 会 产生 怎样 的 影响 ? 例如 ， 
一 些 学 者 就 比 均值 法 的 效果 对 不 同学 科 分 类 方案 的 敏 
感性 进行 了 实证 检验 :M，Zitt 等 ”探究 了 不 同 粒度 水 
平 的 学 科 领 域 对 比 均 值 法 的 影响 ,结果 表明 , 比 均值 法 
对 不 同 粒 度 水 平 的 学 科 领 域 是 敏感 的 。J Adams 
等 ”也 以 英国 各 研究 机 构 为 基础 验证 了 M. Zit 的 结 
Wo W. Glanzel 等 ” 分 析 了 676 所 欧洲 大 学 和 研究 机 
构 的 大 量 论文 ,确定 了 学 科 标 准 化 引文 指标 计算 的 最 
佳 领域 深度 ,提出 60 个 领域 的 学 科 分 类 更 适用 于 机 构 
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的 研究 绩效 评估 。A. Perianes-Rodriguez 和 J. Ruiz-Ca- 
stillo” 更 是 指出 ,在 对 不 同 粒度 级 别 的 学 科 分 类 系统 
进行 选择 比较 时 ,使 用 更 高 粒度 层级 的 分 类 系统 ,通常 
en 但 是 ,这 部 分 的 研究 
只 涉及 比 均值 法 一 种 学 科 标 准 化 方法 ， 缺乏 对 于 其 
0 比较 。 
基于 此 ,本 研究 将 围绕 以 下 两 个 问题 进行 讨论 : 
中 在 最 为 常用 的 Web of Science 学 科 分 类 方案 下 系统 
地 比较 比 均值 法 、 比 中 位 数 法 „Z-score 法 三 种 标准 化 方 
法 的 效果 ,总 结 三 者 的 引文 分 布 特点 以 及 标准 化 效 只 
的 优 劣 ;@ 变 更 不 同 粒度 的 学 科 分 类 方案 ,对 这 三 种 标 
准 化 方法 在 ESI` 经 济 合作 与 发 展 组 织 (OECD ) oS 
类 方案 下 的 敏感 性 进行 检验 ,以 探究 不 同学 科 分 类 
案 对 不 同 标准 化 效果 的 影响 。 
化 效果 比较 的 公平 性 和 准确 性 ,促进 学 科 标 准 化 方法 
的 进一步 成 熟 和 完善 ,同时 也 将 丰富 学 科 标 准 化 的 研 
究 内 容 , 完 善 标准 化 理论 研究 体系 。 尤 其 是 当前 " 双 一 
流 " 建 设 背景 下 ,选择 合适 的 学 科 分 类 方案 和 标准 化 方 
法 是 开展 有 效 科 研 评价 工作 的 基础 和 前 提 , 通 过 探究 
不 同 标准 化 方法 和 学 科 分 类 方案 对 于 评价 结果 改进 的 
影响 ,可 以 更 加 客观 地 考察 我 国 “ 双 一 流 ” 大 学 的 科研 
影响 力 及 其 同 世界 一 流 大 学 之 间 的 差距 ,为 我 国 “ 双 一 
流 ” 大 学 的 建设 及 科研 事业 的 发 展 提供 有 力 的 支持 。 


2 数据 与 方法 


本 研究 将 在 InCites 数据 库 下 分 别 获 取 Web of Sci- 
ence „ESI OECD 三 种 学 科 分 类 方案 的 引文 数据 ,使 用 比 均 
值 法 . 比 中 位 数 法 .Z-score 法 对 数据 进行 标准 化 处 理 , 通 
过 比较 三 种 标准 化 方法 在 不 同学 科 分 类 方案 下 的 标准 化 
效果 ,了 解 学 科 分 类 方案 与 标准 化 效果 之 间 的 联系 ,分 析 
产生 不 同 标准 化 效果 的 原因 ,并 总 结 使 用 学 科 分 类 方案 和 
标准 化 方法 的 规律 与 准则 。 研 究 设计 思路 见 图 1。 
2.1 学 科 分 类 方案 的 选取 

本 研究 将 选取 Web of Science ESI OECD 三 种 学 
科 分 类 方案 ,之 所 以 选择 这 三 种 分 类 方案 主要 是 基于 
如 下 考虑 :中 这 些 学 科 分 类 方案 在 科研 评价 中 都 有 着 
较为 广泛 的 应 用 ,并 且 它 们 底层 都 来 源 于 同一 套 被 引 
ASL, AH ate CE PL AE ME ZZ ZS] AY) InCites 数据 库 中 ,这 
样 就 保证 了 它们 在 数据 源 上 是 可 比 的 ,避免 了 不 同 被 
引 系统 之 间 的 差异 (如 谷歌 学 术 Scopus 与 Web of Sci- 
ence 三 者 背后 被 引 系 统 的 差异 ) 对 标准 化 结果 的 影 
HO ;@ 这 三 种 分 类 方案 涉及 不 同 的 学 科 分 类 粒度 ， 
数据 下 载 时 ,Web of Science 将 学 科 划 分 为 255 个 大 类 ， 
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OECD 为 45 个 ,ESI 为 22 个 ,具有 一 定 的 区 分 度 。 
2 引文 过 证 所 的 村 
S 在 InCites 数据 库 中 分 别 按照 上 述 三 种 学 科 分 类 
下 载 2013 年 文献 类 型 为 Article 的 全 部 学 科 的 论 
位 其 中 ,Web of Science 中 共 下 载 1 495 337 篇 ,ESI 
IRRI 362 619 篇 ,OECD 中 下 载 1495 258 篇 。 论 文 
引文 时 间 窗 口 为 2013 -2019 年 ,保证 了 6 年 的 引文 累 
BSM, 使 得 引文 稳定 可 靠 , 同 时 也 消除 了 短 时 间 窗 口 
TÍRE 
2.00 学 科 标 准 化 方法 

-所 选 取 对 比 的 学 科 标 准 化 方法 包括 比 均值 法 . 比 中 


比较 比 均值 法 、 


比 中 位 数 法 、Z-score 法 
的 效果 


比较 比 均值 法 、 比 中 位 数 法 、Z-score 法 的 


1 研究 设计 思路 


z= 公式 (2) 


同样 的 ,c 表示 原始 被 引 次 数 , 表示 均值 ,而 o 为 
该 论文 所 在 学 科 引 文 分 布 的 标准 差 。 
2.4 标准 化 效果 的 检验 

目前 学 界 判断 标准 化 方法 效果 优 劣 的 主要 依据 是 
考察 标准 化 后 不 同学 科 的 引文 分 布 情况 是 否 近似 同 分 
布 ,常用 的 方法 为 CCDF 引文 分 布 图 法 和 top z% 法 ,有 
相当 数量 的 文献 采用 了 这 两 种 方法 CCDF 引 
文 分 布 图 法 是 观察 不 同学 科 领 域 论文 的 标准 分 的 分 布 
曲线 ,分 布 曲线 越 重合 ,标准 化 效果 越 好 ;top z% 法 则 


(iB Z-score 法 。 这 三 种 方法 是 目前 较 常 被 使 用 的 
具有 一 定 代表 性 的 标准 化 方法 ,并 且 基 于 现 有 的 引文 
数据 库 也 都 是 可 操作 的 、 可 实现 的 。 在 面向 实际 的 科 
研 评价 活动 时 具有 一 定 的 可 操作 性 。 

具体 来 说 , 比 均值 法 , 即 论文 的 标准 分 是 原始 被 引 
次 数 与 同一 学 科 论 文 被 引 次 数 平 均值 的 比值 ,其 标准 
分 计算 公式 为 : 


m=— 公式 (1) 
从 


其 中 ,m 代表 比 均值 法 下 的 标准 分 ,c 为 一 篇 论文 
原始 被 引 次 数 , 为 该 论文 所 在 学 科 论 文 的 平均 被 引 
次 数 。 而 比 中 位 数 法 与 比 均值 法 类 似 , 论 文 的 标准 分 
为 原始 被 引 次 数 与 同一 学 科 论 文 被 引 次 数 中 位 数 的 比 
值 。 

Z-score 法 则 是 同时 利用 集中 趋势 和 离散 趋势 两 种 
参数 的 标准 化 方法 ,标准 分 的 计算 公式 为 : 


是 将 所 有 学 科 论 文 的 标准 分 从 高 到 低 排序 ,分 别 截取 
全 局 前 2% 的 论文 并 将 这 前 然 
后 计算 每 个 学 科 落 入 全 局 前 2% 的 论文 占 该 学 科 论 
总 数 的 实际 比例 ,比例 分 布 越 均匀 ,与 期 望 值 2% 
距 越 小 ,标准 化 效果 越 好 。 这 两 种 方法 可 以 分 别 从 图 
形 以 及 定量 数值 的 角度 对 上 述 三 种 学 科 分 类 方案 下 不 
同 标准 化 方法 的 效果 进行 检验 ,上 且 结 果 较 为 准确 可 靠 。 
其 中 , 某 篇 论文 被 引 次 数 的 CCDF 值 为 :该 论文 所 
在 引文 分 布 中 被 引 次 数 大 于 等 于 该 论文 被 引 次 数值 的 

论文 占 学 科 论 文 总 数 的 比例 。 现 用 一 个 例子 说 明 某 学 
科 CCDF 引文 分 布 曲线 的 绘制 过 程 ,假设 学 科 M 的 论 
文 被 引 次 数 如 表 1 所 示 , 将 不 同 被 引 次 数 和 对 应 的 
CCDF 值 组 成 的 坐标 点 (0,1.0),(1,0.4),(2,0.1) 用 
线段 顺序 相连 ,那么 该 学 科 的 CCDF 引文 分 布 情况 就 
是 不 同 被 引 次 数 处 的 CCDF 值 相连 而 成 的 曲线 , 见 图 
2。 


86 


/E HAF 
任 元 秋 , EX, MRK. 不 同学 科 分 类 方案 下 不 同学 科 标 准 化 方法 效果 的 比较 研究 [J]. ABH wE. pave RE 


92. 
表 1 SAM 的 引文 分 布 情况 2.5 统计 分 析 
被 引 次 数 /次 论文 数 /篇 CCDF 值 对 收集 到 的 三 种 学 科 分 类 方案 下 的 论文 被 引 次 数 
0 60 1.0 进行 整理 汇总 ,计算 平均 值 . 中 位 数 、 标 准 差 等 各 个 指 
于 br ,并 通过 Python 绘制 引文 分 布 图 形 以 检验 标准 化 方 
Z = = 法 的 效果 。 
3 结果 与 讨论 
3.1 Web of Science 学 科 分 类 方案 下 三 种 标准 化 方 


被 引 次 数 
图 2 学 科 M 的 CCDF 引文 分 布 曲线 


top z% 法 使 用 的 指标 为 论文 比例 的 平均 偏差 

(mean deviation,MD) , 即 各 个 学 科 隶 属于 全 局 top z% 

We z% 之 差 的 绝对 值 的 平均 
十 算 公式 为 


= MD =~ Š ip, -pl 公式 (3 ) 
ut 表示 第 i 个 学 科 的 实际 论文 比例 ,p 表示 各 个 
a ee 
BONE ,论文 的 实际 比例 越 接近 期 望 比例 ,标准 化 的 效 
下 六 明显 ,而 MD =0 时 , 则 是 最 理想 的 状态 。 


2P? 


chinaXiv 


法 效果 的 比较 

使 用 Python 对 数据 进行 处 理 ,并 绘制 Web of Sci- 
ence 学 科 分 类 方案 下 的 CCDF 引文 分 布 图 ,结果 如 图 3 
所 示 。 其 中 ,X 轴 为 论文 的 原始 被 引 次 数 或 标准 分 ,Y 
轴 为 CCDF 值 。 由 结果 可 以 发 现 ,在 Web of Science 学 
科 分 类 方案 下 ,标准 化 后 的 引文 分 布 曲线 形状 较 原 始 
引文 分 布 曲线 形状 更 加 聚拢 ,虽然 三 者 仍 存在 分 散 的 
阶段 ,没有 实现 所 有 学 科 完全 理想 化 的 同 分 布 状态 ,但 
总 体 来 说 ,标准 化 效果 都 较为 明显 。 尤 其 是 在 尾部 的 
高 被 引 部 分 ,都 表现 出 了 较 高 的 重合 度 ,与 此 同时 , 比 
中 位 数 法 在 CCDF 值 0.5 以 上 低 被 引 部 分 ,以 及 Z- 
score 法 在 坐标 (0,0.4) 对 应 的 “腰部 ”效果 也 较为 突 
出 ,具有 明显 的 同 分 布 趋势 。 


raw citations mean-—score 


median—score z-score 


图 3 Web of Science 学 科 分 类 方案 下 不 同学 科 标准 化 方法 的 CCDF 曲线 


为 了 能 够 细致 地 比较 每 个 阶段 不 同学 科 标准 化 方 
法 的 效果 ,本 文采 用 更 加 定量 的 top 2% 法 再 次 进行 检 
验 。 分 别 在 z = 19% .2% 5% 10% 20% 30% .40% 、 
50% 60% .70% 80% 90% FE 12 个 截面 处 ,比较 每 个 
学 科 落 入 全 局 top z% 的 实际 论文 比例 与 期 望 比例 之 间 
的 平均 偏差 。 针 对 性 地 考察 三 种 标准 化 方法 在 高 被 引 
部 分 的 细微 差别 ,同时 ,也 对 占据 绝 大 多 数 的 非 高 被 引 
部 分 的 论文 进行 数值 化 的 比较 ,尤其 CCDF 引文 分 布 
图 中 三 种 标准 化 方法 分 布 的 特殊 阶段 ,同样 将 进行 进 


一 步 的 验证 。 结 果 见 表 2。 
由 表 2 可 知 , 当 截取 全 局 top5% 以 下 的 论文 时 ,2Z- 
score 法 表现 出 较 优 的 效果 。top5% -20% 4b , Z-score 


法 的 效果 不 及 比 均值 法 ,但 是 两 者 仍 都 优 于 比 中 位 数 
法 。top30% -40% 阶段 ,Z-score 法 再 次 呈现 出 明显 的 
优势 ,与 CCDF 图 形 中 坐标 40,0.4) “腰部 " 相 呼 应 。 
而 top50% 处 这 种 优势 消失 。 与 此 同时 , 比 中 位 数 法 在 
top40% 处 也 有 所 变化 ,MD 值 开始 小 于 其 他 两 种 方法 ， 
top50% 时 效果 更 是 突出 ,并且 之 后 一 直 优 于 比 均 


87 


AELE EZ 


第 65 卷 第 3 期 2021 年 2 月 


ChinaXiv 合 作 期 干 


= 


表 2 Web of science 学 科 分 类 方案 下 


不 同 截面 的 平均 偏差 
topz% ”原始 被 引 次 数 。”” 比 均值 法 比 中 位 数 法 Z-score 法 
topl % 0.006 625 0.005 084 0.009 245 0. 003 305 
top2% 0.012 218 0.007 802 0.016 185 0.007 194 
top5 % 0.026 759 0.011 876 0.028 529 0.017 164 
topl0% 0.046 990 0.013 556 0.039 707 0. 029 939 
top20% 0.082 070 0.019 822 0.047 036 0. 038 658 
top30% 0.111 492 0.031 299 0. 044 842 0. 030 864 
top40% 0. 133 836 0.050 651 0.044 333 0. 048 912 
top50% 0. 154 270 0.071 217 0.048 485 0.088 911 
top60% 0. 166 574 0.089 134 0.056 448 0. 130 365 
top70% 0. 169 726 0. 107 047 0.079 881 0. 153 335 
top80% 0. 161 478 0.117 401 0. 102 658 0. 159 927 
top90% 0. 129 545 0. 120 900 0.115 763 0. 125 937 


(EIR Z-score 法 ,这 也 与 CCDF 引文 分 布 图 中 比 中 位 
效 注 旦 现 出 的 效果 基本 一 致 :CCDF 值 小 于 0.4 时 图 形 
较为 发 散 ,大 约 0.5 时 开始 具有 明显 的 聚合 趋势 ,体现 
“中 位 数 法 在 低 被 引 部 分 的 显著 优势 。 
-综合 两 种 验证 方法 来 看 ,三 种 标准 化 方法 在 Web 
of(Sgience 学 科 分 类 方案 下 的 引文 分 布 曲线 ,虽然 较 原 
始 引 文 分 布 曲线 都 明显 更 加 有 聚拢 ,但 是 与 理想 的 同 分 


是 最 优 的 标准 化 方法 。 在 截取 全 局 top30% 以 下 论文 
时 , 比 均值 法 \Z-score 法 都 优 于 比 中 位 数 法 ,尤其 是 在 
5% 以 下 的 高 被 引 部 分 ,Z-score 法 的 效果 更 加 突出 ;在 
top30% -40% 处 ,Z-score 法 也 有 着 明显 的 优势 ,这 与 
CCDF 图 形 中 观察 到 的 结果 相同 ,此 时 论文 的 原始 被 引 
次 数 等 于 该 学 科 论文 被 引 次 数 的 平均 值 ;而 top40% 以 
上 , 比 中 位 数 法 的 效果 则 一 直 优 于 其 他 两 种 方法 。 
3.2 ESL 学 科 分 类 方案 下 三 种 标准 化 方法 效果 的 比较 

针对 Web of Science 学 科 分 类 方案 下 比 均值 法 、 比 
中 位 数 法 „Z-score 法 表现 出 的 规律 和 特点 ,本 研究 将 变 
更 不 同 粒度 的 学 科 分 类 方案 ,分 别 考察 ESI OECD 学 
科 分 类 方案 下 三 种 标准 化 方法 又 将 呈现 怎样 的 效果 。 
首先 ,在 ES 学 科 分 类 方案 下 ,绘制 原始 被 引 次 数 
比 均值 法 、 比 中 位 数 法 以 及 Z-score 法 人 处理 的 标准 分 
CCDF 引文 分 布 曲 线 , 如 图 4 所 示 。 标 准 化 处 理 后 的 引 
文 分 布 曲线 形状 较 原始 引文 分 布 曲线 形状 更 加 聚拢 ， 
同时 , 相 比 于 Web of Science 学 科 分 类 方案 下 的 引文 分 
布 情况 , Z-score 法 在 坐标 (0,0.4)“ 腰 部 ”的 效果 更 加 
明显 , 比 中 位 数 法 也 在 CCDF 值 为 0.4 时 就 出 现 了 重 
合 的 趋势 。 


mean—score 


0 10° 10! 10 10° 0 10° 10! 10 


median—score z-score 


4 ESI 学 科 分 类 方案 下 不 同学 科 标 准 化 方法 的 CCDF 曲线 


为 了 更 加 直观 地 比较 三 种 标准 化 方法 的 效果 ,这 
里 仍 使 用 平均 偏差 进一步 考察 每 个 学 科 落 入 全 局 前 
z% 的 实际 论文 比例 , 见 表 3。 

可 以 发 现 , 比 均值 法 在 top30% 以 下 的 MD 值 都 较 
小 ,效果 优 于 其 他 两 种 方法 ,top1% -2% 时 ,Z-score 法 
和 比 中 位 数 法 的 MD 值 虽然 略 大 于 比 均值 法 ,但 数值 
仍 都 小 于 0.01 ,也 有 一 定 效果 。top30% 截面 处 发 生变 
化 , 比 中 位 数 法 和 Z-score 法 的 效果 开始 优 于 比 均值 


法 ,top40% 处 更 加 明显 ,特别 是 比 中 位 数 法 ,表现 出 较 
优 的 效果 。 而 top50% 截面 处 ,Z-score 法 又 发 生变 化 ， 
效果 不 如 比 均值 法 ,与 比 中 位 数 法 更 是 相差 较 大 ， 
top70% 开始 甚至 不 如 未 进行 标准 化 处 理 的 结果 。 三 
种 标准 化 方法 的 效果 与 Web of Science 学 科 分 类 方案 
下 相 比 ,虽然 略 有 差别 ,但 大 致 相同 ,并 没有 因为 更 换 
学 科 分 类 方案 而 发 生 较 大 变化 。 
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RI ESI 学 科 分 类 方案 下 不 同 截面 的 平均 偏差 


3.3 OECD 学 科 分 类 方案 下 三 种 标准 化 方法 效果 的 


topz% ”原始 被 引 次 数 。” 比 均值 法 。 比 中 位 数 法 Z-score 法 比较 
topl% 0. 006 053 0. 002 153 0. 004 783 0. 002 714 最 后 ,对 OECD 学 科 分 类 方案 下 三 种 标准 化 方法 
top2% 0.010 473 0.003 184 0. 008 043 0. 005 605 的 效果 进行 比较 ,如 图 5 所 示 。 同样 的 ,标准 化 后 的 引 
top5% 0.021 482 0. 003 941 0. 014 300 0.013 725 eer Ne 
文 分 布 曲线 形状 较 原始 引文 分 布 曲线 形状 都 有 了 明显 
topl0% 0.035 436 0. 007 545 0. 020 365 0.022 774 ‘ ee m 
UH E ; en 4 
top20% 0.059 422 0.014 523 0. 024 050 0. 030 082 的 聚拢 ,并且 与 Web of Science ESI 学 科 分 类 方案 下 的 
top30% 0.076733 0.024280 0.020811 0.021 554 标准 化 效果 类 似 。 
top40% 0.093262 0.032641 0.018490 0.026 131 为 了 验证 结果 的 可 靠 性 ,也 使 用 top 2% 法 对 每 个 
top50% 0.091 969 0. 040 108 0.018 393 0.066 560 截面 处 的 实际 情况 进行 考察 ,结果 见 表 4。 
top60% 0. 107 347 0.050 372 0.021 435 0.093 210 由 表 4 可 知 OECD 学 科 分 类 方案 下 = Pl 准 化 
70% 0.093 376 0.049 521 0.027 456 0. 108 277 ? R 、 
i 方法 呈现 出 了 与 上 述 一 致 的 结果 ,Z-score 法 在 topl% 
top80% 0.080 568 0. 048 228 0. 034 384 0. 123 560 es i nee 
top90% 0.047 038 0. 032 554 0.029 316 0. 102 174 高 被 引 部 分 以 及 top30% -40% 阶段 都 表现 出 较 好 的 
1.0- 1.0. 
TS 
> 
4 0.8, 
N = 
T 0.6 
N "a = 
© a 3 
J 
© 0.44 04, 
+r 0.2" 0.24 
© 
0 10° 10! 10 16 16 0 10° 10! 10° 10° 0 10° 10! 10° 10° 0 10° 10! 10° 
= Taw citations Mmean—score median—score z—score 
age 


> ial 
G4 OECD 学 科 分 类 方案 下 不 同 截 面 的 平均 偏差 


gp% 原始 被 引 次 数 EA 比 中 位 数 法 Z-score 法 
7 lo 0.007 010 0.005 227 0.011 737 0.004 171 

p2% 0.013 123 0.007 926 0.019 775 0. 008 639 
top5% 0. 029 339 0.010 181 0. 034 727 0.019 573 
top10% 0. 052 133 0.012 741 0.042 124 0.031 134 
top20% 0.090 785 0.017 635 0.043 493 0.035 468 
top30% 0.121 137 0.030 053 0.042 899 0.027 583 
top40% 0. 147 137 0.051 954 0.040 207 0.037 157 
top50% 0. 162 276 0.068 501 0.044 314 0. 088 848 
top60% 0. 170 762 0. 084 892 0.049 074 0. 136 005 
top70% 0. 180 544 0. 104 375 0.077 000 0.177 713 
top80% 0. 162 170 0.113 271 0. 106 999 0.177 997 
top90% 0. 146 433 0. 132 716 0. 131 439 0. 142 872 


标准 化 效果 。 比 中 位 数 法 在 top40% 截面 开始 也 表现 
出 与 Web of Science ESI 学 科 分 类 方案 下 同样 的 优势 。 
OECD 学 科 分 类 方案 下 ,三 种 标准 化 方法 的 效果 依然 
没有 发 生 较 大 改变 。 
3.4 结果 讨论 

综合 来 看 ,虽然 标准 化 方法 效果 的 实现 需要 落实 


OECD 学 科 分 类 方案 下 不 同学 科 标 准 化 方法 的 CCDF 曲线 


到 具体 的 学 科 分 类 方案 下 进行 ,但 变更 不 同 粒 度 的 学 
科 分 类 方案 ,各 标准 化 方法 的 效果 仍 基本 保持 不 变 。 
从 CCDF 分 布 图 形 来 看 ,使 用 三 种 标准 化 方法 处 理 后 
的 CCDF 曲线 形状 较 原 始 引文 的 CCDF 曲线 形状 明显 
更 加 聚拢 ,并且 三 种 标准 化 方法 在 更 换 不 同 粒 度 的 学 
科 分 类 方案 后 引文 分 布 情况 与 变更 前 大 致 相同 。 结 合 
top 2% 法 从 定量 数值 的 角度 再 次 进行 检验 ,发 现 三 种 
标准 化 方法 的 效果 在 变更 不 同 粒 度 的 学 科 分 类 方案 后 
基本 保持 不 变 , 并 呈现 出 如 下 规律 : 

当 截 取 全 局 top30% 以 下 的 论文 时 , 比 均值 法 、Z- 
score 法 虽然 略 有 不 同 ,但 都 优 于 比 中 位 数 法 ,表现 出 
较 好 的 效果 ;截取 top30% -40% 阶段 论文 时 ,Z-score 
法 的 效果 较为 突出 ;截取 top40% 以 上 论文 时 , 比 中 位 
数 法 呈现 出 明显 优 于 其 他 两 者 的 效果 , 且 一 直 保 持 , 在 
ESI 学 科 分 类 方案 下 ,这 种 较 优 的 效果 甚至 在 top30% 
处 就 出 现 了 。 而 比 均值 法 与 Z-score 法 在 占 比 较 大 的 
低 被 引 论文 部 分 却 没有 表现 出 较 好 的 聚拢 性 ,尤其 是 
Z-score 法 ,在 EST.OECD 学 科 分 类 方案 下 部 分 截面 处 
的 效果 甚至 不 及 未 进行 标准 化 处 理 时 的 状态 。 
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呈现 上 述 规律 的 原因 可 能 非常 复杂 ,或 许 与 标准 
化 方法 自身 的 特点 以 及 学 科 引 文 演化 规律 等 有 关 ,也 
可 能 是 几 种 因素 共同 作用 的 结果 。 本 研究 在 此 做 一 些 
尝试 性 的 分 析 : 比 均值 法 是 通过 论文 的 原始 被 引 次 数 
除 以 该 论文 所 在 学 科 的 均值 来 达到 引文 分 布 趋 于 集中 
的 目的 的 ,均值 可 以 反映 引文 分 布 的 基本 特征 , 却 不 能 


da. 


以 下 的 论文 时 , 比 均值 法 .Z-score 法 的 效果 都 优 于 比 
位 数 法 ;截取 top30% -40% 阶段 论文 时 ,Z-score 法 的 
效果 较为 突出 ;截取 top40% 以 上 论文 时 , 比 均值 法 、Z- 
score 法 的 效果 不 及 比 中 位 数 法 。 

本 研究 也 存在 一 定 的 局 限 性 :一 方面 ,InCites 数据 
库 下 涵盖 多 种 学 科 分 类 方案 ,本 研究 选取 了 其 中 较为 


反映 出 引文 分 布 的 分 散 程度 以 及 引文 分 布 位 置 的 重要 
区 别 。 而 中 位 数 是 以 所 有 被 引 次 数 中 所 处 的 位 置 确定 
的 全 部 论文 被 引 次 数 的 代表 值 ,一 定 程度 上 提高 了 引 
文 分 布 数列 的 代表 性 ,在 占据 绝 大 多 数 的 非 高 被 引 部 
分 效果 比比 均值 法 更 好 ;但 在 引文 累积 分 布 中 出 现 极 
端 变量 数值 时 ,中 位 数 由 于 缺乏 一 定 的 敏感 性 ,不 受 引 
文 分 布 中 高 被 引 的 影响 ,在 不 同学 科 论 文 被 引 次 数 差 
蹈 较 大 的 情况 下 ,不 能 产生 很 好 的 效果 来 消除 这 种 差 
异 < 儿 此 在 高 被 引 部 分 的 表现 较 弱 。 此 外 ,Z-score 法 在 
top30% -40% 部 分 呈现 出 较 优 的 效果 ,与 此 时 论文 的 
原始 被 引 次 数 接近 均值 有 关 , 说 明 大 多 数学 科 领 域 中 
论 血 被 引 次 数 高 于 均值 的 论文 比例 约 占 30% -40% 。 
六 在 对 我 国 高 校 科研 影响 力 进行 排名 时 ,可 以 根据 
这 些 特点 和 规律 ,针对 不 同 被 引 次 数 水 平 的 论文 
条 不 同 的 标准 化 处 理 。 例 如 ,高 被 引 部 分 可 以 考虑 
合用 比 均值 法 或 Z-seore 法 , 低 被 引 部 分 可 以 使 用 比 中 
傍 寞 法 ,通过 对 各 单 篇 论文 标准 分 求 和 或 求 平均 ,以 获 
得 天 学 集合 层面 整体 论文 影响 力 得 分 ,从 而 有 效 地 识 
别 辐 表现 较 好 .具有 一 定 科 研 潜力 的 院 校 ; 科 学 合理 地 
使 所 学 科 标 准 化 指标 并 对 我 国 高 校 的 科研 晤 Zipping) 
科学 的 评价 ,引导 我 国 科学 研究 事业 健康 蓬勃 地 发 展 。 


4 “结论 


本 研究 通过 绘制 CCDF 引文 分 布 曲线 和 计算 top 
z% 平均 偏差 ,分 别 对 Web of Science, ESI, OECD 三 种 
学 科 分 类 方案 下 不 同 标准 化 方法 的 效果 进行 了 系统 的 
比较 ， es 化 效果 的 影 
响 。 结 果 发 现 ,使 用 不 同 的 学 科 分 类 方案 并 未 对 标准 
化 效果 产生 较 大 影响 ,在 三 re 的 学 科 分 
类 方案 下 标准 化 方法 的 效果 基本 保持 不 变 。 从 CCDF 
分 布 图 形 来 看 ,使 用 三 种 标准 化 方法 处 理 后 的 CCDF 
曲线 形状 较 原 始 引文 的 CCDF HARTER H E ER 
拢 ,并 且 三 种 标准 化 方法 在 更 换 不 同 粒度 的 学 科 分 类 
方案 后 引文 分 布 情况 与 变更 前 大 致 相同 。 结 合 top 2% 
法 从 定量 数值 的 角度 再 次 进行 检验 ,可 以 发 现 ,三 种 标 
准 化 方法 的 效果 在 变更 不 同 粒 度 的 学 科 分 类 方案 后 基 
本 保持 不 变 , 且 呈现 出 如 下 规律 : 当 截 取 全 局 top30% 


带 用 的 且 代 表 不 同 粒度 的 三 种 学 科 分 类 方案 ,今后 可 
继续 增加 不 同 粒度 的 学 科 分 类 方案 ,使 得 研究 更 加 完 
善 ; 另 一 方面 ,由 于 非 同 源 论文 引用 之 间 存 在 差异 ,本 
研究 并 未 对 同样 使 用 率 较 高 的 Scopus .谷歌 等 学 科 分 
类 方案 进行 考察 Re 更 加 公平 合理 地 
衡量 不 同学 科 分 类 方案 对 标准 化 方法 效果 的 影响 ,这 
(oe 

向 。 此 外 ,有 越 来 越 多 的 学 者 加 入 到 学 科 标 准 oe 
的 研究 和 改进 中 ,并 且 提 出 了 一 些 标准 化 效果 较 优 的 
新 方法 ,未 来 可 将 这 些 新 方法 纳入 到 我 们 的 比较 方案 
中 ,为 我 国 “ 双 一 流 ” 高 校 科 研 评价 中 学 科 标 准 化 方法 
及 学 科 分 类 方案 的 选择 提供 更 加 全 面 的 依据 。 

致谢 :中 国 知 网 张 志 辉 博士 对 本 文 从 整体 设计 到 结 


分 析 再 到 论文 修改 均 提 供 了 许多 宝贵 的 建议 ,在 此 表示 由 衷 
的 感谢 。 
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Comparison of Field Normalization Effects Based on Different Discipline Classification Schemes 
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Abstract: | Purpose/significance | This paper aims to analyze the impact of different discipline classification 
schemes on field normalization effects, and compare the field normalization effects of different field normalization 
methods in different discipline classification schemes. | Method/process | This study focused on two aspects: first, 
compared the effect of the mean method „median method and Z-score method under the Web of Science classification 
YWScheme; second, changed the different discipline classification schemes to test the sensitivity of the three field nor- 
(alization methods under the Essential Science Indicators (ESI) and Organization for Economic Co-operation and 
Wévelopment (OECD) classification schemes. | Result/ conclusion | The results show that the disciplinary classifica- 
scheme does not have a significant impact on field normalization effects, and the effects of field normalization 
Gmethods under different discipline classification schemes remain basically unchanged. Judging from the CCDF distri- 
tion graph, the citation distribution after using the three field normalization methods is obviously closer than the o- 
inal citation count, and the citation distribution of the three field normalization methods after changing the disci- 
@line classification scheme with different granularity is still roughly the same. When the top z% method is used to 
erically test the field normalization effect, it is found that the effects of the three field normalization methods re- 
main basically unchanged after changing the different discipline classification schemes, and show the following laws; 
«When intercepting papers below 30% of the global top, the Z-score method is slightly different than the mean meth- 
', but both are better than the median method ; 30% -40% stage, Z-score method shows obvious advantages ; more 

than 40% , the median method is significantly better than the other two methods. 
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